Williams mula berkenalan dengan pelakon Australia, Heath Ledger, bintang sampingannya dalam Brokeback Mountain, pada 2004 selepas bertemu dengan set filem itu.[10][12][13] Pada akhir April 2005, ''People'' melaporkan bahawa Williams dan Ledger mengharapkan anak bersama. Pada 28 Oktober 2005, Williams melahirkan anak perempuannya, Matilda Rose Ledger.

Mereka tinggal di Brooklyn, New York. Menjelang September 2007, pasangan itu dengan baik mengakhiri hubungan tiga tahun mereka.[14] Daripada perpisahan itu, People memetiknya memberitahu majalah ''Elle'', "Saya tidak tahu ke mana hendak pergi, saya tidak dapat bayangkan mana-mana tempat di dunia yang akan menjadi baik kepada saya." Selepas kematian Ledger dari intipati dadah gabungan (CDI) pada Januari 2008, Williams dan anak perempuannya menjadi perhatian media dan sering diikuti oleh paparazi. Akibatnya, Williams jarang memberi temuramah sehingga akhir tahun 2009.[15]

Pada 1 Februari 2008, dalam kenyataan pertama beliau selepas kematian Ledger, Williams menyatakan kesedihannya dan menerangkan semangat Ledger sebagai masih hidup dalam anak perempuan mereka, yang menyerupainya.[16] Kemudian bulan itu beliau menghadiri majlis peringatan dan persemadiannya.[17]

Pada 2008, Williams mula berkenalan dengan pengarah Spike Jonze. Mereka bertemu di set Synecdoche, New York, yang dibintangi Williams dan Jonze menerbitkannya. Williams memanggil waktu hubungan mereka "mustahil", dan berakhir pada September 2009.[18]